Trước đây, Nam Sơn là một xã thuộc huyện Quế Võ.

Ngày 9 tháng 4 năm 2007, Chính phủ ban hành Nghị định 60/2007/NĐ-CP[3]. Theo đó, sáp nhập xã Nam Sơn vào thành phố Bắc Ninh.

Ngày 16 tháng 10 năm 2019, Ủy ban thường vụ Quốc hội ban hành Nghị quyết số 787/NQ-UBTVQH14 (nghị quyết có hiệu lực từ ngày 1 tháng 12 năm 2019)[1]. Theo đó, thành lập phường Nam Sơn trên cơ sở toàn bộ 11,92 km² diện tích tự nhiên và 32.659 người của xã Nam Sơn.

Ngày 27 tháng 12 năm 2019, chuyển 9 thôn thuộc xã Nam Sơn cũ thành 9 khu phố có tên tương ứng.[4]